Thinking with Looped Flows
用循环流思考
🧭 循环神经网络与概率流推理
EPFL · KAIST · University of Amsterdam · Carnegie Mellon University · TU Wien
提出循环流模型，用局部去噪目标训练循环网络，推理时积分概率流实现计算扩展，在ARC-AGI等基准上超越先前的循环模型
📌 工作参考价值（4 点）
- 循环生成模型训练中，若梯度只截断少数步（如在线生成式推荐的多步解码），可借鉴局部去噪目标：每一步只做当前噪声水平的去噪，不要求整个循环链端到端可微，缓解早期步骤无法支持后续步骤的问题。
- 推理时通过更细的时间网格积分概率流，用更多计算换取更好预测，适合对延迟敏感的业务按负载动态调整解码步数，实现在线算力弹性伸缩。
- 从不同初始噪声采样可获得多个有效预测，可用于生成式推荐中产出多样化候选 item，后续用排序模型筛选或做多样性打散，兼顾覆盖与准确。
- 循环状态与流状态解耦（先运行去噪器更新循环状态，再执行 ODE/SDE 步），工程上易于模块化，可分别优化状态传递逻辑和数值积分器。